Condor Galaxy, 36 exaflops de puissance combinée pour l'intelligence artificielle

La firme Cerebras s'est fait connaître par ses systèmes dits de puces sur wafer comptant des centaines de milliers de coeurs interconnectés se voulant bien plus efficaces que des clusters de processeurs et faciles à produire.

Ses solutions visent particulièrement les systèmes dédiés à l'intelligence artificielle et plusieurs projets commerciaux sont en cours de déploiement. Le dernier en date se joue avec la holding G42 et va permettre d'agréger plusieurs systèmes exaflopiques pour atteindre une immense puissance de traitement.

Le premier supercalculateur CG-1 ou Condor Galaxy-1 installé à Santa Clara (Californie) regroupe 64 systèmes Cerebras CS-2, cumulant 54 millions de coeurs optimisés IA et 2600 milliards de transistors, ainsi qu'une bande passante de 388 Tbps et 72 704 coeurs AMD Epyc, pour assurer une puissance de traitement de 4 exaflops en précision FP16.

Créer des supercalculateurs géants et interconnectés pour l'IA

Cette puissance est principalement destinée à alimenter de gros modèles de langage pour des intelligences artificielles génératives gérant jusqu'à 600 milliards de paramètres.

Cette capacité de traitement permet notamment de diminuer le temps d'entraînement des IA tout en réduisant la complexité de fonctionnement par rapport à des systèmes traditionnels de clusters GPU.

Le système CG-1 de Cerebras et G42 peut ainsi ramener le temps de configuration de modèles d'IA génératives à quelques minutes avec la supervision d'une seule personne, contre des mois de préparation et toute une équipe pour des clusters GPU.

Ce premier supercalculateur CG-1 sera proposé aux entreprises et instituts de recherche en service cloud et il doit être suivi; toujours aux Etats-Unis, par des systèmes CG-2 et CG-3, également dotés chacun de 4 exaflops de puissance de traitement FP16 d'ici 2024.

Atteindre une puissance de calcul de 36 exaflops à court terme

L'intérêt sera ensuite de pouvoir interconnecter les puissances de calcul de système pour arriver à un système distribué capable d'atteindre 12 exaflops et 162 millions de coeurs IA.

Cerebras précise que ce premier groupe CG-1 à CG-3 "opère sous le régime de la législation américaine, garantissant que les systèmes IA les plus avancés ne sont pas utilisés par des états adverses". Toutes les étapes, de la conception à la fabrication en passant par la mise en oeuvre ont été réalisées aux Etats-Unis.

A plus long terme, Cerebras et G42 veulent construire six autres supercalculateurs Condor Galaxy (répartis dans le monde) et atteindre une puissance de traitement totale de 36 exaflops en FP16, représentant un ensemble de 572 systèmes Cerebras CS-2 interconnectés.